Gaddafi adalah anak bongsu dalam keluarga petani di padang pasir kering kontang di Oasis Hun, Sirte. Beliau keturunan suku Arab Badwi Berber , Qadhadhfa. Datuknya, Abdessalam Bouminyar dikatakan mati syahid ketika menentang penjajahan Itali ke atas Libya di Khoms pada 1911.

Menerima pendidikan rendah agama tradisional dan sekolah persediaan Sebha di Fezzan dari 1956 hingga 1961. Gaddafi begitu kecewa apabila dunia Arab / Palestin kalah kepada Israel dalam perang 1948.

Pada akhirnya Gaddafi dan rakan-rakan dari sekolah ini telah menjadi kumpulan teras revolusi dan merampas kepimpinan negara Libya. Inspirasi Gaddafi ini adalah Gamal Abdel Nasser, Presiden Mesir yang telah menjatuhkan kerajaan monarki di Mesir. Pada 1961, Gaddafi telah keluar dari Sebha dan memulakan aktiviti politik secara aktif.

Kemudian, Gaddafi belajar undang-undang di Universiti Libya dan lulus dengan cemerlang. Selepas itu, beliau menyertai Akademi Tentera di Benghazi pada 1963. Di sini, beliau bersama sekumpulan yang lain telah membentuk kumpulan militan secara rahsia untuk membuang pemimpin Libya yang pro Barat. Selepas tamat belajar pada 1965, dia telah dihantar ke Britain untuk latihan lanjutan di Kolej Pegawai Turus Britsih (British Army Staff College) dan pulang pada 1966 dan berkhidmat sebagai pegawai komunikasi dalam Signal Corps.